你的学习率调度可能并不合理：权重归一化训练中的有效学习率调度
🧭 大模型预训练优化 · Effective LR
ByteDance Seed · Peking University
证明 WN 训练增益主要来自有效学习率轨迹，提出 AIR 调度，在 128B MoE 预训练上比 cosine 降损约 0.01
📌 工作参考价值（4 点）
- 若你在 LLM4Rec / 生成式推荐模型预训练中采用 weight normalization 或固定范数约束，应把 LR schedule 设计对象从 nominal LR 切换到 effective LR，否则会错失 WN 的降损收益。
- 工程上可直接用 AIR 替代 cosine：用 affine 修正 1/√t 衰减以匹配预设 peak/terminal LR，在 128B MoE 实验中比 cosine 的 terminal training loss 低约 0.01，且超参鲁棒性更好，适合线上预训练 pipeline 快速替换。
- 在优化器或训练约束切换（如 WN ↔ WD）时，保持相同 ELR 轨迹可复现训练动态，便于做 infra 对齐和消融实验，减少重新调参成本。
- 优先优化 late-stage LR schedule：早期 LR 选择对最终损失影响较弱，晚期 ELR 调度是主要收益来源；调参资源应集中在后期 schedule 上。
MuonGS：放宽权重范数控制的LLM预训练优化器
🧭 优化器训练 · 权重范数控制
University of Minnesota
用Gram-Schmidt移除Muon更新径向分量，权重范数最多√t增长，长期困惑度更低并加速LLM预训练约15%
📌 工作参考价值（4 点）
- 训练电商/广告域的大模型（CTR、NLP、多模态等）时，可尝试用 MuonGS 替代 AdamW 或 MuonH，尤其在长训练 horizon 下：MuonGS 不固定权重范数，省去严格范数约束的超参调优，同时保持后期有效学习率，可能降低最终损失。
- 把累积有效学习率 C_T = Ση_t/||W_t||_F 作为监控指标：如果训练后期 C_T 增长明显放缓（对数增长），说明有效学习率相对权重范数过小，可考虑放松范数控制、调整学习率或改用 MuonGS 类方法。
- 对推荐模型中的矩阵参数，Muon 类优化器可直接作用于 2D 权重；但 embedding 表通常是高维稀疏结构，需先验证 Gram-Schmidt 投影在混合参数上的工程开销，建议小规模预训练对比后再推广。
- 结论上，权重范数不必严格固定，允许其以 √t 增长可维持长期有效学习率，这一原则可用于指导自定义优化器或学习率调度。
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。
WSqD：面向大规模模型训练的无视界学习率调度
🧭 训练优化 · 学习率调度 ★ 深度解读
University of Pennsylvania
提出结合逆平方根基底与线性退火的 WSqD 调度，理论证明其最优 O(1/√T) 收敛，并在 LLM 续训中无需重调优就能超越调优的 WSD
📌 工作参考价值（4 点）
- 长时间递进式训练/增量训练可直接复用：在电商搜索、推荐模型的持续训练场景中（如每天新增日志继续训练），WSqD 的根基底与训练时长相独立，同一峰值学习率可跨越不同续训长度，避免每次续训重调学习率。
- 设置建议：将 shift 参数 T0 设为初始短跑时长（如 5000 或 10000 步），基学习率由短跑网格搜索确定一次后即可用于后续所有更长工期，工程成本极低。
- 退火阶段的长度：线性退火占比 α 固定为 20%，实践可照搬；续训时从退火前检查点恢复，仅丢弃退火部分的计算，性价比高。
- 适配优化器：论文给出 Adam-style 和 Muon-style 的镜像下降视角诊断，在实际推荐模型训练中可监控梯度 L1 范数或块核范数作为双范数缩放因子的稳定性，以便将实用优化器方向近似视为镜像下降步骤，增强调度理论指导。
一步梯度延迟并非大规模异步流水线并行LLM预训练障碍
🧭 异步流水线并行训练与优化器鲁棒性
Institute of Science and Technology Austria (ISTA) · Yandex · Basic Research of Artificial Intelligence Laboratory (BRAIn Lab) · Innopolis University · Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)
证明异步流水线并行中的一步延迟下优化器选择决定稳定性，Muon比AdamW鲁棒，结合误差反馈校正可匹敌同步训练
📌 工作参考价值（4 点）
- 训练LLM时可采用 PipeDream-2BW 异步流水线并行消除GPU空闲，大幅提升吞吐；配合 Muon 优化器可避免一步延迟导致的严峻性能下降，无需担心稳定性。
- 若必须使用 AdamW 等对延迟敏感的优化器，可引入论文提出的 Error Feedback 校正模块，作为一种轻量级的、优化器无关的延迟补偿机制，抑制梯度陈旧影响。
- 在搜索推荐领域自研大规模模型（如生成式推荐模型）时，可借鉴该结论：分布式流水线并行不必局限于同步方案，异步+Muon 组合可能成为资源利用率和模型质量的更好解。
- 对于需要快速迭代实验的团队，异步并行带来的高吞吐可直接加速模型训练，结合 Muon 的鲁棒性，有望在保持模型效果的同时缩短研发周期。
通过子集扰动稀疏恢复的高效训练数据归因
🧭 训练数据归因 · 稀疏恢复
University of Toronto · Vector Institute · Max Planck Institute for Intelligent Systems · ELLIS Institute · Thoughtworks
将训练数据归因建模为激活空间的稀疏恢复问题，让轻量 steering operator 模拟数据影响，速度快 13 倍且 SOTA
📌 工作参考价值（5 点）
- 可作为电商推荐/Agent 系统中追溯预测来源、诊断数据问题的高效工具：
- 将训练数据影响分析从梯度空间迁移到激活空间，避免反复重训练或全梯度计算，适合在线即时归因需求
- 利用稀疏恢复选择关键训练样本，可快速定位导致推荐错误或 Agent 决策异常的训练案例，辅助数据清洗与调试
- 通过预训练 steering operators 实现 “即插即用” 的归因能力，可集成进数据反馈闭环，用于增量数据质量评估与数据选择
- 方法对模型架构无侵入，仅需提取激活值，可适配各类基于 Transformer 的推荐模型与生成式推荐管道
被忽视的尺度向量：对LLM训练的巨大影响与优化改进
🧭 LLM优化 · 尺度向量重设计与预条件 ★ 深度解读
ByteDance Seed · Peking University
理论证明Pre-Norm中尺度向量虽参数极少但通过自加速预条件效应关键加速训练，并据此提出分支异构、双端放置与幅度方向重参数化三种改进，在密集和MoE模型上一致提升预训练损失。
📌 工作参考价值（4 点）
- 尺度向量设计可视为免费优化加速器：在推荐模型（如生成式推荐、CTR DNN）的RMSNorm/LayerNorm中，可引入分支特定的尺度向量，为Q/K/V或不同特征交叉分支提供独立的自适应预条件，几乎不增加参数。
- 权重衰减策略直接可复用：对紧接线性层的RMSNorm（Input-Norm）施加weight decay以稳定Hessian、加速收敛；而对不接线性层的（Output-Norm，如Q/K-Norm或最终输出前的归一化）应避免weight decay，防止限制表达能力。这一规则在MoE专家网络或Agent多模块网络中也适用。
- 双端放置与幅度方向解耦提升优化效率：在Transformer类推荐模型（如SASRec、BST）中，对注意力投影矩阵同时加输入侧和输出侧尺度向量（DP），或对FFN的gate/up分支采用 \( \gamma_a \odot \text{Norm}(W(\gamma_b \odot x)) \) 的归一化双端放置，可进一步加速收敛。幅度方向重参数化（OR/ER）在低参数增量下带来更各向异性的预条件机制，适合大规模训练。
- 实验表明，这些trick组合可取得约1.2×-1.25× 的scaler效率提升，在工业级token预算下保持优势，且与Muon优化器、warmup-stable-decay调度兼容，可直接集成到已有训推框架中。
对称性兼容原则指导优化器设计：嵌入、LM头、SwiGLU MLP和MoE路由
🧭 优化器设计 · 等变更新 · 预训练
提出基于参数块对称群的等变优化器设计原则，为不同层定制更新规则，在LLM预训中超越AdamW
📌 工作参考价值（4 点）
- 嵌入层与投影层优化：推荐模型的实体/用户嵌入矩阵和最终的投影层可尝试行归一化（row-norm）或单边谱更新，利用左置换等变性，可能提升大规模嵌入训练稳定性。
- SwiGLU MLP 的定制更新：若模型采用 SwiGLU 激活，其权重块的中间神经元置换对称性可指导设计 row-aware 或 column-aware 更新，提升梯度信号对齐，加速收敛。
- MoE 路由器优化：在多领域或多专家推荐中，MoE 路由矩阵可利用专家置换和偏移不变性，采用中心化行归一化或左谱更新，可能改善负载均衡和路由精度。
- 系统化分块优化器设计：整体思想可迁移——先分析模型各参数块的对称群，再选配等变更新规则，而非统一使用 Adam，尤其适用于推荐系统中多种异质参数（Embedding、Attention、MoE 等）的混合架构。